Túc Dụ kết hôn với Sở Thanh (楚青) vào tháng 2 năm 1941. Họ có ba người con, tất cả đều gia nhập Quân Giải phóng Nhân dân Trung Quốc (PLA). Con trai cả Túc Nhung Sinh (粟戎生) sinh năm 1942, sau đó là con trai thứ hai Túc Hàn Sinh (粟寒生) và con út, con gái Túc Huệ Ninh (粟惠宁), người kết hôn với Trần Tiểu Lỗ (陈小鲁) vào tháng 8 năm 1975. Trần Tiểu Lỗ là con trai út của Trần Nghị, người là cấp trên trực tiếp của Túc Dụ trong thời chiến. Theo Túc Nhung Sinh, Túc Dụ là một người cha cực kì nghiêm khắc. Khi Túc Nhung Sinh mới ba tuổi, Túc Dụ buộc Nhung Sinh phải học cách bơi bằng cách chỉ cho Túc Nhung Sinh một miếng tre như một cái phao và đẩy Túc Nhung Sinh xuống nước trước mặt mẹ Nhung Sinh và cấm bất cứ ai cố gắng cứu Túc Nhung Sinh. Vợ của Túc Dụ, Sở Thanh đã nổi giận và hỏi Túc Dụ một cách giận dữ dù ông không lo lắng về việc Túc Nhung Sinh bị chết đuối. Nhưng Túc Dụ đã trả lời rằng Túc Nhung Sinh sẽ không bao giờ học cách bơi theo bất kỳ cách nào khác và ngoài ra, Túc Nhung Sinh không bị chết đuối. Năm 20 tuổi, Túc Nhung Sinh gia nhập PLA và tại ngũ trong 45 năm, thăng tiến từ một chiến sĩ bình thường đến một sĩ quan mang quân hàm Trung tướng, ông giữ chức vụ Phó Tư lệnh Quân khu Bắc Kinh trước khi về hưu ở tuổi 65.